1 Wykorzystane biblioteki

Użyto następujących bibliotek:

• dplyr
• ggplot2
• DT
• data.table
• kableExtra
• Hmisc
• corrplot
• PerformanceAnalytics
• caret
• purrr
• tidyr
• plotly

set.seed(7)
prettyTable <- function(table_df, round_columns=numeric(), round_digits=2) {
    DT::datatable(table_df, style="bootstrap", filter = "top", rownames = FALSE, extensions = "Buttons", 
                  options = list(dom = 'Bfrtip', 
                  buttons = c('copy', 'csv', 'excel', 'pdf', 'print'))) %>%
    formatRound(round_columns, round_digits)
}

2 Wczytywanie danych

Funkcja ‘fread’ zapewnia szybsze wczytywanie pliku niż ‘read_table’, dlatego to na nią padł wybór.

data_set <- fread('all_summary.csv', header = TRUE, nrows = 200000, dec = '.', stringsAsFactors = FALSE)

3 Czyszczenie danych

Dane są czyszczone z wierszy z niepożądanymi etykietami klasy.

unwanted <- c('UNK', 'UNX', 'UNL', 'DUM', 'N', 'BLOB', 'ALA', 'ARG', 'ASN', 'ASP', 'CYS', 'GLN', 'GLU', 'GLY', 'HIS', 'ILE', 'LEU', 'LYS', 'MET', 'MSE', 'PHE', 'PRO', 'SEC', 'SER', 'THR', 'TRP', 'TYR', 'VAL', 'DA', 'DG', 'DT', 'DC', 'DU', 'A', 'G', 'T', 'C', 'U', 'HOH', 'H20', 'WAT')
data_set_clean <- data_set %>% filter(!res_name %in% unwanted) %>% filter(!is.na(res_name))

4 Obsługa brakujących danych

Kolumna “weight_col” wydaje się zawierać wartości puste dla większości wierszy, dlatego też wykluczono ją ze zbioru danych. Poza tym, pominięto wiersze z brakującymi wartościami, gdyż jest ich niewiele w stosunku do rozmiaru całego zbioru.

#print(sapply(data_set_clean, function(x) sum(is.na(x)))) # kod sprawdzający ile brakujących wartości zawierają poszczególne kolumny
data_set_clean <- data_set_clean %>% select(-weight_col)
data_set_clean <- na.omit(data_set_clean)

5 Podstawowa specyfikacja zbioru danych

print(paste0('Liczba wierszy: ', nrow(data_set_clean)))

## [1] "Liczba wierszy: 177579"

print(paste0('Liczba kolumn: ', ncol(data_set_clean)))

## [1] "Liczba kolumn: 411"

kable(summary(data_set_clean)) %>%
  kable_styling(bootstrap_options = c("striped", "hover", "bordered", "responsive", 'basic')) %>%
  scroll_box(width = "100%")

6 Ekstrakcja danych należących do najistotniejszych klas

Zaczęto od wyłuskania 50 najczęściej występujących etykiet klas, następnie przefiltrowano istniejący zbiór danych za pomocą wyłuskanego zbioru etykiet.

frequent_res_name <- data_set_clean %>% select(res_name) %>% group_by(res_name) %>% summarise(count = n()) %>% arrange(desc(count)) %>% head(50)
data_set_clean_significant <- data_set_clean %>% filter(res_name %in% frequent_res_name$res_name)

7 Korelacja pomiędzy zmiennymi

Kolumny, dla których liczona jest korelacja muszą zawierać wartości numeryczne. Dlatego też tylko takie, które je zawierają zostały wzięte pod uwagę w tej sekcji. Zachodzi również potrzeba wyłączenia z analizy korelacji kolumn o odchyleniu standardowym bliskim zeru ze względu na wymagania dotyczące metody tworzącej wykres.

data_to_cor <- data_set_clean_significant %>% select_if(is.numeric)
near_zero_var_cols <- nearZeroVar(data_to_cor, names = TRUE)
data_to_cor <- data_to_cor %>% select(-near_zero_var_cols)
correlation <- cor(data_to_cor)
corrplot(correlation, tl.pos="n", type="upper", diag=TRUE, method="color", order="hclust")

8 Liczność poszczególnych klas

W tej sekcji przedstawiono liczność występujących w danych klas za pomocą interaktywnej tabeli.

prettyTable(frequent_res_name)

9 Wykresy rozkładu liczby atomów oraz elektronów

Interaktywne wykresy rozkładu liczby elektronów oraz atomów

ggplotly(ggplot(data=data_set_clean_significant, aes(data_set_clean_significant$local_res_atom_non_h_electron_sum)) 
         + geom_histogram(binwidth = 1, colour = "black", fill="white") 
         + scale_x_continuous("Liczba elektronów"))

ggplotly(ggplot(data=data_set_clean_significant, aes(data_set_clean_significant$local_res_atom_non_h_count)) 
         + geom_histogram(binwidth = 1, colour = "black", fill="white") 
         + scale_x_continuous("Liczba atomów"))

10 Klasy z największą niezgodnością liczby atomów oraz liczby elektronów

data_set_clean_significant %>%
  select(res_name, local_res_atom_non_h_count, dict_atom_non_h_count) %>%
  distinct(res_name, .keep_all = TRUE) %>%
  mutate(diff = abs(local_res_atom_non_h_count - dict_atom_non_h_count)) %>%
  arrange(desc(diff)) %>%
  head(10) %>%
  kable() %>%
  kable_styling(bootstrap_options = c("striped", "hover", "condensed"))

data_set_clean_significant %>%
  select(res_name, local_res_atom_non_h_electron_sum, dict_atom_non_h_electron_sum) %>%
  distinct(res_name, .keep_all = TRUE) %>%
  mutate(diff = abs(local_res_atom_non_h_electron_sum - dict_atom_non_h_electron_sum)) %>%
  arrange(desc(diff)) %>%
  head(10) %>%
  kable() %>%
  kable_styling(bootstrap_options = c("striped", "hover", "condensed"))

11 Wykres rozkładu wartości dla wybranych atrybutów

Rozkład wartości dla poszczególnych atrybutów zaczynających się od “part_01”

attributes_part_01 <- colnames(data_set_clean_significant)[grepl("part_01_",colnames(data_set_clean_significant))]
dd <- data_set_clean_significant %>% select(attributes_part_01) %>% keep(is.numeric) %>% gather() #%>% 
  
ggplotly(
  ggplot(data = dd, aes(value)) +
    facet_wrap(~ key, scales = "free", ncol = 2) +
    geom_density() +
    scale_y_continuous()) #+

    #geom_vline(aes(xintercept=mean(value, na.rm = TRUE))))

12 Interaktywny wykres

Wykres słupkowy przedstawia liczbę elementów należącą do poszczególnych klas.

plot_ly(frequent_res_name, x = ~frequent_res_name$res_name, y = ~frequent_res_name$count, type = 'bar', text = frequent_res_name$res_name,
        marker = list(color = 'rgb(158,202,225)',
                      line = list(color = 'rgb(8,48,107)',
                                  width = 1.5))) %>%
  layout(title = "Cardinality of classes",
         xaxis = list(title = "Class"),
         yaxis = list(title = "Cardinality"))

13 Regresja

14 Klasyfikacja